Năm 1946 là tiểu đoàn trưởng trong đoàn quân Tây Tiến. Đầu năm 1948, nhằm thuận tiện trong việc chỉ huy và tổ chức quân đội, các Liên khu được thành lập. Ông được phân công về làm chỉ huy quân sự tại Trung đoàn 46, trung đoàn chủ lực của Liên khu 3. Bấy giờ, ông Hoàng Minh Thảo đang giữ chức Phó Tư lệnh Liên khu này.

Trong suốt thời gian kháng chiến chống Pháp, ông cùng trung đoàn chiến đấu cơ động tại các tỉnh trên địa bàn Liên khu 3 như Ninh Bình, Nam Định, Hà Nam,Hà Đông, Sơn Tây Hòa Bình... Năm 1951,là Trung đoàn trưởng trung đoàn 46, ông cùng trung đoàn tham gia trong Chiến dịch Hòa Bình. Năm 1953 chỉ huy trung đoàn đánh nhiều trận tại Liên khu 3 nhằm phối hợp với chiến trường trên cả nước, phá tan kế hoạch tập trung binh lực của Pháp Kế hoạch Navarre[2].

Sau khi chính phủ Việt Nam Dân chủ Cộng hòa kiểm soát hoàn toàn miền Bắc,ông là Chủ tịch ủy ban quân quản thành phố Nam Định, tháng 10 năm 1954,là Tham mưu trưởng Liên khu 3[1] và giữ chức vụ này cho đến khi Liên khu 3 giải thể để thành lập Quân khu Hữu Ngạn. Năm 1958, ông được phong quân hàm Trung tá.

Năm 1959, ông được cử sang Liên Xô theo học tại Học viện Quân sự Frunze. Cuối năm 1962, ông về nước, công tác tại Học viện Quân chính. Tháng 10 năm 1963, ông làm Phó chủ nhiệm Hệ giáo dục quân sự Học viện Quân chính. Tháng 3 năm 1964, ông được điều sang làm Hiệu phó Trường Sĩ quan Lục quân. Năm 1966 ông được thăng quân hàm thượng tá. Tháng 5 năm 1969, ông được bổ nhiệm làm Cục trưởng Cục Quân huấn Bộ Tổng tham mưu Quân đội nhân dân Việt Nam.[1][3] Trong thời gian này ông đã có các chuyến thị sát thực tế chiến trường tại miền Đông Nam bộ (B2) và Lào để bổ sung cho công tác huấn luyện bộ đội chiến đấu